回归学习是经典的，是医学图像分析的基础。它为许多关键应用程序提供了连续的映射，例如属性估计，对象检测，分割和非刚性注册。但是，先前的研究主要以案例标准（如均方误差）为优化目标。他们忽略了非常重要的人口相关标准，这正是许多任务中的最终评估指标。在这项工作中，我们建议通过有关直接优化细粒相关损失的新型研究来重新审视经典回归任务。我们主要探索两个互补相关索引作为可学习的损失：Pearson线性相关（PLC）和Spearman等级相关性（SRC）。本文的贡献是两个折叠。首先，对于全球层面的PLC，我们提出了一项策略，以使其对异常值进行强大的态度并规范关键分布因素。这些努力显着稳定学习并扩大了PLC的功效。其次，对于本地级别的SRC，我们提出了一种粗到精细的方案，以减轻样品之间确切排名顺序的学习。具体而言，我们将样本排名的学习转换为样本之间相似关系的学习。我们在两个典型的超声图像回归任务上广泛验证了我们的方法，包括图像质量评估和生物措施测量。实验证明，通过直接优化相关性的细粒度指导，回归性能得到显着提高。我们提出的相关性损失是一般的，可以扩展到更重要的应用程序。
translated by 谷歌翻译
为了减轻传统推荐系统（RSS）的数据稀疏和冷启动问题，将知识图（KGS）纳入补充辅助信息，最近引起了相当大的关注。然而，简单地整合了基于KG的RS模型的KGS，这不一定是提高推荐性能的保证，甚至可能削弱整体模型能力。这是因为这些KG的构建与历史用户项相互作用的集合无关;因此，这些KG的信息可能并不总是有助于推荐给所有用户。在本文中，我们提出了具有个性化推荐的协作指导的细心知识意识的图表卷积网络（CG-KGR）。 CG-KGR是一种新颖的知识意识推荐模型，通过我们提出的协作指导机制，可以实现高度和相干的KG和用户项目交互的学习。具体而言，CG-KGR首先封装与交互式信息摘要的历史相互作用。然后CG-kgr利用它作为提取kgs的信息的指导，最终提供更精确的个性化推荐。我们在两个推荐任务中对四个现实数据集进行了广泛的实验，即TOP-K推荐和点击率（CTR）预测。实验结果表明，CG-KGR模型在Top-K推荐的召回度量方面，最近最初的最先进模型明显优于1.4-27.0％。
translated by 谷歌翻译
Graph Neural Networks (GNNs) have achieved promising performance on a wide range of graph-based tasks. Despite their success, one severe limitation of GNNs is the over-smoothing issue (indistinguishable representations of nodes in different classes). In this work, we present a systematic and quantitative study on the over-smoothing issue of GNNs. First, we introduce two quantitative metrics, MAD and MADGap, to measure the smoothness and oversmoothness of the graph nodes representations, respectively. Then, we verify that smoothing is the nature of GNNs and the critical factor leading to over-smoothness is the low information-to-noise ratio of the message received by the nodes, which is partially determined by the graph topology. Finally, we propose two methods to alleviate the oversmoothing issue from the topological view: (1) MADReg which adds a MADGap-based regularizer to the training objective; (2) AdaEdge which optimizes the graph topology based on the model predictions. Extensive experiments on 7 widely-used graph datasets with 10 typical GNN models show that the two proposed methods are effective for relieving the over-smoothing issue, thus improving the performance of various GNN models.
translated by 谷歌翻译
This paper presents a practical global optimization algorithm for the K-center clustering problem, which aims to select K samples as the cluster centers to minimize the maximum within-cluster distance. This algorithm is based on a reduced-space branch and bound scheme and guarantees convergence to the global optimum in a finite number of steps by only branching on the regions of centers. To improve efficiency, we have designed a two-stage decomposable lower bound, the solution of which can be derived in a closed form. In addition, we also propose several acceleration techniques to narrow down the region of centers, including bounds tightening, sample reduction, and parallelization. Extensive studies on synthetic and real-world datasets have demonstrated that our algorithm can solve the K-center problems to global optimal within 4 hours for ten million samples in the serial mode and one billion samples in the parallel mode. Moreover, compared with the state-of-the-art heuristic methods, the global optimum obtained by our algorithm can averagely reduce the objective function by 25.8% on all the synthetic and real-world datasets.
translated by 谷歌翻译
提示将下游应用程序作为语言建模任务施放，与使用预训练的模型进行标准微调相比，已显示出样本有效的效率。但是，提示的一个陷阱是需要手动设计的模式，其结果可能是不直觉的，需要大量的验证集来调整。为了应对挑战，我们提出了一种全自动提示方法Autoseq：（1）我们在序列到序列模型上采用自然语言提示，从而实现自由形式生成和更大的标签搜索空间； （2）我们提出了标签序列 - 无限长度的短语以口头表达标签 - 这消除了手动模板的需求，并且比单个标签单词更具有表现力； （3）我们使用Beam Search自动生成大量的标签序列候选物，并提出对比度重新排列以获得最佳组合。 Autoseq显着胜过其他无手动设计方法，例如软提示调整，适配器调整和自动搜索单个标签单词；生成的标签序列比各种任务上的精选手动序列更好。我们的方法揭示了几次学习中序列模型的潜力，并阐明了通用通用和自动提示的途径。本文的源代码可以从https://github.com/thunlp/seq2seq-prompt获得。
translated by 谷歌翻译
如何有效地构建和使用对话数据，以及如何在不同域中在不同域中部署模型可能是建立面向任务的对话系统的两个关键问题。在本文中，我们提出了一种新颖的手动指导对话方案，以减轻这些问题，在该方案中，代理商从对话和手册中学习任务。该手册是一个非结构化的文本文档，可指导代理在对话过程中与用户和数据库进行交互。我们提出的方案降低了对话模型对细粒领域本体的依赖性，并使它们更灵活以适应各种领域。然后，我们为完全注销的多域数据集Magdial贡献以支持我们的方案。它介绍了三个对话建模子任务：指令匹配，参数填充和响应生成。对这些子任务进行建模与人类代理的行为模式一致。实验表明，手动引导对话方案提高了构建对话系统中的数据效率和域可伸缩性。数据集和基准将公开用于促进未来的研究。
translated by 谷歌翻译
Existing reference-free metrics have obvious limitations for evaluating controlled text generation models. Unsupervised metrics can only provide a task-agnostic evaluation result which correlates weakly with human judgments, whereas supervised ones may overfit task-specific data with poor generalization ability to other datasets. In this paper, we propose an unsupervised reference-free metric called CTRLEval, which evaluates controlled text generation from different aspects by formulating each aspect into multiple text infilling tasks. On top of these tasks, the metric assembles the generation probabilities from a pre-trained language model without any model training. Experimental results show that our metric has higher correlations with human judgments than other baselines, while obtaining better generalization of evaluating generated texts from different models and with different qualities.
translated by 谷歌翻译
当前的预训练语言模型（PLM）通常是通过静态数据训练的，忽略了在现实情况下，各种来源的流数据可能会不断增长。这要求PLM终生整合来自所有来源的信息。尽管可以通过对所有现有数据进行详尽的预培训来实现此目标，但已知该过程在计算上是昂贵的。为此，我们提出了Elle，目的是为新兴数据有效终身预训练。具体而言，ELLE由（1）函数保留的模型扩展组成，它们灵活地扩展了现有的PLM的宽度和深度以提高知识获取的效率； （2）预先训练的领域提示，它消除了在预训练期间学习的多功能知识，并刺激了下游任务的适当知识。我们通过来自BERT和GPT上5个域的流数据进行实验。结果表明，在预训练效率和下游性能中，ELLE的优越性超过了各种终身学习基线。这些代码可在https://github.com/thunlp/elle上公开获得。
translated by 谷歌翻译
由于许多微调预先训练的语言模型〜（PLMS）具有有希望的性能，因此慷慨地释放，研究了重用这些模型的更好方法至关重要，因为它可以大大降低再培训计算成本和潜在的环境副作用。在本文中，我们探索了一种小型模型重用范式，知识合并〜（ka）。如果没有人为注释，KA旨在将来自不同教师的知识合并到一个专门从事不同的分类问题中的知识，进入多功能的学生模型。实现这一目标，我们设计了模型不确定感知知识合并〜（Muka）框架，其使用Monte-Carlo辍学来识别潜在的足够教师，以估计金色监督指导学生。实验结果表明，Muka在基准数据集上实现了对基准的基本改进。进一步的分析表明，Muka可以通过多个教师模型，异构教师，甚至交叉数据集教师概括很好的复杂设置。
translated by 谷歌翻译
提示调整（PT）是一个有前途的参数高效的方法，可以利用极大的预先培训的语言模型（PLM），它可以通过仅调整几个软提示来实现与全参数微调的可比性。但是，与微调相比，PT经验需要更多的培训步骤。为了探索我们通过重用培训的软提示和分享知识来提高PT的效率，我们经验探讨了在不同任务和模型中的软提示的可转换性。在交叉任务传输中，我们发现训练有素的软提示可以转移到类似的任务并初始化PT，以加速培训并提高性能。此外，为了探讨影响的因素，提示跨任务的可转移性，我们调查如何测量提示相似性，并发现激活神经元的重叠率与可转移性高度相关。在跨模型传输中，我们探索如何将PLM的提示投影到另一个PLM并成功培训了一种可以在类似任务上实现非琐碎的传输性能的投影仪。但是，使用预计提示初始化PT不起作用，这可能是由优化偏好和PLMS高冗余引起的。我们的研究结果表明，具有知识转移的改善PT是可能的并且有希望的，而提示的交叉任务转移性通常比跨模型转移性更好。
translated by 谷歌翻译